Why Multi-Step Tool-Use Reinforcement Learning Collapses and How Supervisory Signals Fix It
多步工具使用强化学习的崩溃分析与监督信号修复
🧭 多步工具调用 RL 的稳定化训练 ★ 深度解读
中国科学院自动化研究所复杂系统认知与决策重点实验室 · 中国科学院大学人工智能学院
揭示 RL 训练中控制 token 概率畸变导致的结构性崩溃，系统性对比 6 种监督信号并以交错训练实现稳定工具调用
📌 工作参考价值（4 点）
- RL 训练前务必先用 SFT 注入工具调用格式：直接对未见过工具调用格式的模型做 RL 极容易发生 tool_call 等控制 token 的概率膨胀，导致输出退化为 <tool_call><|im_end|> 的空结构，需先用少量 SFT 数据建立格式基础。
- 交错训练（interleaved SFT-RL）比同步训练稳定得多：在 RL 探索过程中间歇插入基于失败样本的 SFT 校正，可大幅减少格式漂移，避免 KL 散度爆炸；尤其推荐 Erroneous Trajectory Supervision + Process Reflection Supervision，后者将中间步骤反思转化为文本监督信号，起到逻辑正则化作用。
- 纯 RL 的“崩溃”可能是格式伪影而非能力丧失：OOD 评估发现，单纯 GRPO 在分布外格式下反而稳定，说明崩溃主要集中在特定控制 token 的分布敏感区，真实工具调用能力仍然保留；因此线上部署时可考虑改变 prompt 模板来规避训练格式过拟合。
- 学习率对交错训练极为关键：错误轨迹监督 (ETS) 在较高学习率 (1e-5) 下提升显著，而同步方法常因共享学习率导致优化不稳定；可借鉴其逐步增加 RL 次数 + 错误 SFT 的调度策略。